Người bạn đời của Hoàng Hữu Nam là bà Trịnh Thị Tuyến, nguyên là vợ một người đồng chí hoạt động với nhau từ năm 1930 và cùng bị đày ra Côn Đảo. Trong chuyến vượt ngục về đất liền, người đó có dặn lại với Hoàng Hữu Nam nếu mình có mệnh hệ gì thì nhờ ông thay mặt mình chăm sóc vợ con. Đồng chí đó đã hy sinh trên đường vượt ngục. Theo lời nguyện đó, Hoàng Hữu Nam khi trở về đất liền đã đến tìm bà Tuyến và kết hôn với nhau. Bà Tuyến là một trong 5 người phụ nữ Việt Nam đầu tiên tham gia Hội Việt Nam cách mạng thanh niên.

Ông có người con tên là Phan Nhã, được du học tại Liên Xô.